对PyTorch的调研很详细，关于OP实现这部分也写一下详细点的思路吧，让其他开发者根据设计文档也有实现的思路。

好的，补充啦

还是太简介啦😂 ，这样对其他开发者起不到实际指导的作用。
希望能够把论文中的思想与代码结合的方式展现，所以最好包含以下两部分吧：
1）说明ASGD的思想方法
2）方法如何在paddle的optimizer中实现

添加了较为详细的伪代码，请再看一下

asgd的学习率更新方法是否是asgd本身所要求的？如果学习率更新方法是asgd所特有，就不应该另外增加一个LR Scheduler。
【建议将asgd论文中的理论公式与代码实现做对应分析】。

完全参考PyTorch 代码实现并不可靠

可能是我写的不够清楚。ASGD 本身没有假设某一种学习率，仅仅只是对参数做平均而已，这一点可以在维基百科和一些学校教材里看到。
此外，ASGD 是在 https://dl.acm.org/doi/10.1137/0330046 和 https://ecommons.cornell.edu/handle/1813/8664 提出的，而 PyTorch ASGD 所用的学习率是在很晚很晚之后的 https://arxiv.org/abs/1107.2490 才提出的，这也可以证明 PyTorch ASGD 所用的学习率更新方法不会是 ASGD 本身要求的，这一点在 PyTorch ASGD 所参考的 bottou-sgd README 里有明确的说明。

我把上面这段解释加入到 RFC 里了，请再看一下。

原论文Acceleration of stochastic approximation by averaging中的t^-1是否说明参数更新量也随着时间需要逐渐减少

bottou-sgd README中也说明了ASGD需要配合学习率的逐渐衰减。
所以我理解这个学习率更新方法应该是ASGD所要求的。（注意这个学习率衰减的原因与深度学习的学习率下降不是一回事，虽然有些LR Schduler也能起到类似的作用，但是彼此是独立的）

其实我更关心的不是学习率是否衰减的问题，而是我们是否对ASGD方法和论文已经分析透彻了

原论文Acceleration of stochastic approximation by averaging中的t^-1是否说明参数更新量也随着时间需要逐渐减少

这段话不是讲 ASGD 的，是说 “SGD 在满足这个条件的情况下也有和 ASGD 一样最佳的收敛速度，但这个条件在实际中很难满足”。

注意这个学习率衰减的原因与深度学习的学习率下降不是一回事，虽然有些LR Schduler也能起到类似的作用，但是彼此是独立的

这句话想表达的意思是不是这样：“ASGD 对学习率衰减策略是有理论上的要求的，不满足要求 ASGD 在理论上就不会有效果” 。

这句话是对的，ASGD 原论文对学习率有一些假设：

但可以看到这些假设是比较宽泛的，可以构造出无数种具体的衰减策略满足这些假设。此外，不满足这些假设的学习率衰减策略就需要被禁止吗？我认为不是的，研究者可能就是想研究 Averaged SGD 在某些特殊条件下的表现。这篇文章 https://arxiv.org/abs/1107.2490 就提到了两个使用固定学习率的研究：

因此，不管是从 ASGD 算法本身，还是从 API 的正交性、可组合性上来说，我认为按照 LR Scheduler + 一个不对学习率有任何假设的 Averaged SGD 的思路来实现都是更好的做法。

再附上 sklearn 的 SGD 实现作为另一个旁证：https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html#sklearn.linear_model.SGDClassifier ，可以看到 average 只是 SGD 的参数之一，是和 learning_rate、penalty 这些参数同等且正交的，并不会因为 average=True 就禁止用户自由设置学习率。

OK